Explore Broadly, Reason Sharply: Push Small Models toward the Frontier via Sampling
广泛探索、锐利推理：用并行回火采样将小模型推向前沿
🧭 推理采样 · parallel tempering ★ 深度解读
Georgia Institute of Technology · University of Texas at El Paso · Morgan Stanley
用并行回火耦合多档功率锐化采样链，解决探索利用矛盾，让小模型无需训练逼近前沿推理
📌 工作参考价值（4 点）
- 商品文案、搜索 query 改写、Agent 多步规划等开放式生成任务，可借鉴 PPT 的探索-利用分工：低 sharpening 链生成多样候选，高 sharpening 链筛选稳定高质量答案，swap 让好路径快速上传，无需额外训练。
- 如果线上已缓存 log-probs 和 KV cache，swap 只是交换状态指针，几乎没有额外模型调用；适合叠加到 vLLM/paged attention 服务，峰值显存约增加 2.5-3.7 倍，按 replica 数可预估。
- 实现可变长度生成重采样时要注意截断偏差：采用固定 horizon + post-EOS padding，否则短序列会被单方面接受，导致目标分布偏置，直接影响生成质量。
- 不想上 RL post-training 但需要提升小模型推理能力时，可先试 PPT：不依赖 reward model，也避免 RL 的 jagged generalization；对数学、代码、科学推理等可验证任务尤其有效。ladder 调参优先用 equi-accepting，避免相邻 swap 接受率出现瓶颈。